Inferring neural activity before plasticity as a foundation for learning beyond backpropagation | Nature Neuroscience (2024)
Yuhang Song, Beren Millidge, Tommaso Salvatori, Thomas Lukasiewicz, Zhenghua Xu & Rafal Bogacz
https://doi.org/10.1038/s41593-023-01514-1
http://creativecommons.org/licenses/by/4.0/.
https://github.com/YuhangSong/Prospective-Configuration
誤差逆伝播法(Back-Propagation)に対して、予測的構成(Prospective Configuration)という新たな学習手法を提案
生物が行うような学習において誤差逆伝播法(Back-Propagation)の性能を上回る
Naa_tsure.icon新たな手法というがenergy-based networks; EBNsが元々この性質を持つ
どちらかというと、EBNsの性質に新たな解釈を与えたという方が近い？
本編はEBNsの一つである予測符号化(Predictive Coding:PC)で実装してる
予測的構成(Prospective Configuration)って結局なんなんだ？って話はSup-Fig. 5に書いてある
https://scrapbox.io/files/679f85785d258c6bfadf214f.png
from Supplementary Fig. 5 Formal definition of prospective configuration
隠れ層の神経活動を３段階に分類する
1. 目標信号の提示なし(シナプス重み更新前)
2. 目標信号の提示中(シナプス重み更新前)
3. 目標信号の提示なし(シナプス重み更新後)
ベクトル1から2へのベクトルと1から3へのベクトルのコサイン類似度を予測的指標(Prospective Index)と置く
この予測的指標(Prospective Index)が正のモデルを予測的構成(Prospective Configuration)の性質を持つモデルとする